行为互联网(IOB)将人类行为放在工程智能连接系统的核心。 IOB将数字世界与人类行为联系起来建立人类驱动的设计,开发和适应过程。本文根据与软件工程师,人机互动科学家,社会科学家和认知科学社区互动的集体努力来定义IOB模型的新颖概念。基于IOB的模型,基于探索性研究,综合最先进的分析和专家访谈。真正的行业4.0制造基础设施的架构有助于解释IOB模型及其应用。概念模型用于成功为Uffizi画廊,意大利佛罗伦萨的人群监测和队列管理系统成功实施社会技术基础设施。该实验始于2016年秋季,并在2018年秋季进行运营,使用了一种数据驱动方法来使用实时感官数据来提供系统。它还在游客的移动行为上注入了预测模型。该系统的主要目标是捕捉人类行为,模型,并建立一种考虑变化,实时适应变化的机制,并不断从重复行为中学习。除了概念模型和现实生活评价外,本文还提供专家的建议,并为未来几年成为IOB成为一个重要的技术进步的未来指导。
translated by 谷歌翻译
Data heterogeneity across clients is a key challenge in federated learning. Prior works address this by either aligning client and server models or using control variates to correct client model drift. Although these methods achieve fast convergence in convex or simple non-convex problems, the performance in over-parameterized models such as deep neural networks is lacking. In this paper, we first revisit the widely used FedAvg algorithm in a deep neural network to understand how data heterogeneity influences the gradient updates across the neural network layers. We observe that while the feature extraction layers are learned efficiently by FedAvg, the substantial diversity of the final classification layers across clients impedes the performance. Motivated by this, we propose to correct model drift by variance reduction only on the final layers. We demonstrate that this significantly outperforms existing benchmarks at a similar or lower communication cost. We furthermore provide proof for the convergence rate of our algorithm.
translated by 谷歌翻译
我们描述了与全球结构搜索方法结合使用的局部替代模型。该模型遵循高斯近似电势(GAP)形式主义,并基于原子位置描述符的平滑重叠,而使用Mini Batch $ K $ -MEANS则减少了本地环境的稀疏性。该模型是在原子全局优化X框架中实现的,并用作盆地跳结构搜索中局部放松的部分替代。该方法对于多种原子系统(包括分子,纳米颗粒,表面支撑的簇和表面薄膜)来说是可靠的。展示了本地替代模型的结构搜索环境中的好处。这包括从较小的系统转移学习的能力,以及执行并发多层计量搜索的可能性。
translated by 谷歌翻译
我们基于功能分析中的分类结构开发了一种自动和符号分化的组成方法,其中衍生物是抽象向量上的线性函数,而不是限于标量,向量,矩阵或张力器,表示为多维阵列。我们表明,可以使用差分计算来实现符号和自动分化,以生成基于原始,恒定,线性和双线性函数的规则以及其顺序和并行组成的线性函数。线性函数以组合域特异性语言表示。最后,我们提供了一个微积分,用于象征性地计算衍生物的伴随,而无需使用矩阵,而矩阵过于效率低,无法在高维空间上使用。衍生物的最终符号表示保留了输入程序的数据并行操作。组合分化和计算形式的伴随的组合在行为上等同于反向模式自动分化。特别是,它为矩阵过于效率而无法表示线性功能的优化提供了机会。
translated by 谷歌翻译
基于机器学习的数据驱动方法具有加速原子结构的计算分析。在这种情况下,可靠的不确定性估计对于评估对预测和实现决策的信心很重要。然而,机器学习模型可以产生严重校准的不确定性估计,因此仔细检测和处理不确定性至关重要。在这项工作中,我们扩展了一种消息,该消息通过神经网络,专门用于预测分子和材料的性质,具有校准的概率预测分布。本文提出的方法与先前的工作不同,通过考虑统一框架中的炼体和认知的不确定性,并通过重新校准未经证明数据的预测分布。通过计算机实验,我们表明我们的方法导致准确的模型,用于预测两种公共分子基准数据集,QM9和PC9的训练数据分布良好的分子形成能量。该方法提供了一种用于训练和评估神经网络集合模型的一般框架,该模型能够产生具有良好校准的不确定性估计的分子性质的准确预测。
translated by 谷歌翻译
鉴于神经网络,训练数据和阈值,已知它是NP-HARD,用于找到神经网络的权重,使得总误差低于阈值。我们精确地确定了这种基本问题的算法复杂性,通过表示它是$ \存在\ mathbb r $ -complete。这意味着问题是等同的,达到多项式时间减少,以决定多项式方程和具有整数系数的不等式和真实未知的不平等是否具有解决方案。如果广泛预期,$ \存在\ MathBB r $严格大于NP,我们的工作意味着培训神经网络的问题甚至不是在NP中。通常使用反向化的一些变异培训神经网络。本文的结果提供了一种解释,为什么常用的技术常用于NP完全问题的大实例似乎不用于此任务。这种技术的示例是SAT求解器,IP求解器,本地搜索,动态编程,命名几个一般的。
translated by 谷歌翻译